蔡红红|在教育研究中运用量化研究方法的问题与反思
DOI:10.16298/j.cnki.1004-3667.2020.09.12
摘要
量化研究的客观性与教育研究的主观性存在冲突,因此,运用量化研究方法进行教育研究的适切性引人深思。在教育研究领域,量化研究方法的运用常面临以下问题:量化研究具有表层化倾向;调研数据的信度难以保证;受强调学术发表的风气和形式主义的影响,部分量化研究者时常容易陷入“数据”的泥沼,或热衷于使用“高级”统计方法,但这无益于探寻教育行为和现象背后的现实意义与内涵。应忠实于教育研究中测量结果的宽松尺度,不能一味迷信精确的“数字化”测量;掌握较完善的量化研究技能和哲学思辨能力,并在教育研究过程中始终保持思考。
关键词
教育研究;量化研究;实证主义;统计方法
社会科学的量化实证取向源自19世纪中叶以孔德为代表的实证主义,最初主要受自然科学领域的启发。20世纪二三十年代,美国社会学界一方面为了吸引学生,满足学生对实用性、工具性知识的需求,另一方面为迎合政府和财团法人对现实问题调查研究的资助偏好,推行“实用为本”的改革。与此同时,受自然科学领域“客观、科学”的数学化研究方法和沃森(Watson J B)行为主义(Behaviorism)的影响,统计方法逐渐在社会学研究中取得主导地位。由此,美国社会科学研究走向量化与反规范性论述的“科学”方向。而教育研究以社会科学的量化研究传统为依据,20世纪初以来,美国的主流教育研究也往往带有定量性质。
一、教育研究中的量化研究方法
教育研究方法是人们在研究教育问题时所采取的步骤、手段和方法的总称,它是决定教育研究质量的关键因素。近年来,我国教育研究领域出现了一些推崇实证研究方法的声音,以统计方法为主的量化研究是其重要组成部分,它通过实验、调查、测验、结构观察以及已有的数量化资料,对教育现象进行客观分析,并将所得结果作相应的统计推断,使研究结论具有普遍适应性。研究方法决定教育学的科学性质。
尽管伦德伯格(Lundberg G A)意识到社会现象与自然现象有所差异,如人有态度、动机、意向等,但他依旧坚定地认为,问题的关键在于如何处置这些差异。他认为,诸如渴望、希望、恐惧、价值、目的、意图等的心灵状态均可被客观地观察和记录,即“自然科学”化。对于社会科学的发展而言,研究方法的“自然科学化”成为其“科学性质”的重要体现,同时加强了社会科学自身的合法性地位。在崇尚实证研究的研究者意识里,通过将教育现象或研究对象的态度、看法与意见等转化为量化的客观材料与数据进行研究,至少抽离了人的个体性和主观色彩,避免陷入“自说自话”的窠臼,得出的结论更客观、可靠,具有较高的可信度。这无疑也更符合科学研究中价值无涉的标准。此外,在日常生活中,统计方法在经济消费取向、文化观念和政治意向等方面的运用屡见不鲜,人们也已经习以为常。因此,运用量化方法进行教育研究,有着广泛的社会现实基础。但运用此方法研究教育问题的适切性和具体操作过程中存在的问题着实引人深思。笔者将以教育研究中最常见、运用最频繁的量化研究方式——通过对研究对象进行问卷调查,并将所得的资料与数据进行统计分析,进而验证或推断结论,这一研究形式为例,阐述其在具体操作过程中存在的争议与问题。
二、在教育研究中运用量化研究方法面临的问题
马克思曾说:“一种科学只有在成功地运用数学时,才算达到真正完善的地步。”“数学化”的研究方式一度促进了社会科学的发展,但运用该方法进行研究,不可避免地带有鲜明的精确化和机械的“测量”印记。教育现象是一种复杂、独特、富有价值色彩的社会现象,其运行、发展与变化都有与其他现象不同的特点和规律:教育研究的对象,是具有自组织能力的人及其在教育过程中的多层次、多维度的关系,非任何自然现象和生物现象所能比拟。然而,当前对“数学化”、以统计分析为重点的量化研究方法的推崇常常容易使人们忽略了该方法用于探究特定教育问题的适切性及方法本身的缺陷。不假思索地套用自然科学精细化的数学模式,很可能导致研究结论与教育现实并不相符,不但无法揭示客观的教育规律,也贬损了教育研究的科学性。在教育研究中运用量化研究方法面临着如下诸多问题。
(一)量化研究存在简单的“数学化”取向
物理测量数据的每个数字都有其确定的位置与意义。在教育研究中,量化研究者经常将不可观察与直接测量的被研究者主观态度或意见等概念操作化为测量量表,并赋予相应数字以程度高低之含义。以李克特五分态度量表为例,“1至5”这之间的5个整数分别代表被研究者“非常不同意——非常同意”的态度。这些数字没有绝对零点和单位,两个相邻数值之间的数字如4.5,它介于同意与非常同意之间,但在被调查者的认知中,这个数值是未被赋予意义的,且无法说明被调查者赞成4.6即代表同意程度高于4.5。因此,研究者擅自赋予除五分量表中五个整数之外的数值以内涵,其与被研究者本人的初衷可能不符。拜尔考(Berka K)指出,在大多数情况下,心理或社会测量是一种较为精致的分类,或者可以说,它是一种理念的或概念的方法,具有相对参考性,与实际意义上的“测量”还存在一定差距。
社会学家邓肯(Duncan O D)也注意到了社会学研究中态度量表可能面临的基本问题,他认为,在“非常不同意——非常同意”的数轴上,每个人都有他独特的位置,只有他自己才可能恰当地指出这个位置在哪里。人们对数轴上每个态度的判断标准是有差异的。如有人对事物的态度比较宽容,有人则比较严格,前者“非常同意”的选择标准可能相当于后者“同意”的判定尺度。因此,同样选择“非常同意”,对被调查者而言,可能具有不同的含义。在分析时,研究者一律将在李克特五分量表中回答“非常同意”的人赋值5分,并直接将其作为等距且等比的物理测量数据进行计算,如此便能将他们作为类别或等级变量时获得更多信息,且能用更高级的统计分析方法来处理数据,以显示分析的复杂性与研究的深刻性。这样的做法体现了当前教育领域的量化研究对精确的追求,带有简单化、易操作倾向,却忽略了问题的真正焦点:能否如实呈现被研究者的态度与想法。
(二)量化研究具有表层化倾向
基于问卷调查的量化研究,其价值与深刻性时常遭到质疑。弗莱克斯纳(Flexner A)指出,调查问卷在花了大量的时间和精力之后被整理成各种图表,但最后得出的结论却要么是凭调查开始前的常识就能直接判断的,要么是最终得不到可靠证据支持的。他对问卷调查进行了强烈批判,称其只是一种廉价、方便和快速获取信息资料或非信息资料的方法,问卷填答的随意性也令其不具备科学特征。他强调,不管多么巧妙地收集资料与信息,报告和检查等都不构成研究。尽管许多研究者指出,量化研究是通过对数据和资料的统计分析以探求各个研究变量背后的因果关系。但当前教育领域许多的“量化文章”,甚至相当部分教育学领域的学位论文,更类似于调研报告,而不是科学研究文本。
在教育研究中,量化研究往往只提供了一种呈现教育现象的方式,它能向我们展示“实然”的状态,却无法指引我们“应然”的方向。如我们可以通过问卷调查,知晓大学当前及以往的所作所为,以及这如何影响社会;或根据调查,揭示政府、教师或学生对大学行为的态度与期待。但这都不能回答“大学应该扮演什么样的角色”这个问题。无论量化研究结果如何,我们都可以合理发问:这是大学应该做的吗?在收集了所有的调研数据,并进行统计分析后,这个问题仍然存在。无怪乎有研究者指出,量化其实只是一种近乎没做什么决定的决定。
与此同时,量化的数字将人们的认知限缩在表层化的维度内,量化研究者时常容易忘记在教育研究中这些数字代表的概念与内涵,陷入纯粹计算数值间各种关系的狂热之中。对于这一现象,孔德曾指出:在实证体系下,基于盲目联系的本能作用,我们热衷于为同时存在或相继出现的现象建立联系,但对外部世界的合理探索和考察却证明,世界的连带关系比我们所设想或希望的松弛得多,许多这类关联在现实生活中纯属虚妄。另一方面,量化研究者根据数据或统计结果“看图表写话”,这一模式促使其习惯于将重心置于数据或数量关系的解释,忽视了对教育现象自身更深层次内涵的关切,也不利于个人创新思维的发展。正如弗莱克斯纳所说,无休无止的计算绝不会产生理论、原理或思想。教育研究中的测量无法让人们触及蕴藏在表象下的内涵,而且也导致人们不想往深处继续挖掘。工具实证主义倾向导致量化研究者选择性地关注当前研究工具所能解决的范围内的问题,之所以使用量化,其实是因为看到了该问题可运用与自然科学类似的测量指标进行测算与分析。在教育研究领域,这表现为部分定量研究者越来越倾向于研究能够直接用测量量表(特别是西方广泛使用的、较成熟的量表)进行定量分析的教育问题。就如卡西尔(Cassirer E)所说的方法决定论,方法本身决定了“科学性”,因而也决定了“事实性”和“真理性”。在当前社会科学崇尚实证研究的环境下,这体现了一种片面追求量化,研究方法决定研究问题的不良倾向。
(三)量化研究的信度难以保证
数量化资料的可靠性是量化研究具备一定信度的基础。通过问卷调查获取调研数据的方式,因其高效、便捷和易量化等特点,在社会学、心理学和教育学等社会科学领域被广泛使用。在教育研究中,问卷类型主要以自填式调查问卷为主,这意味着被研究者能否根据自身的现实情况,如实、准确地填答问题是数据真实可靠与否的关键。但是,有些学者指出,中国是一个低信任度的国家,中国人缺乏以共同的信任和制度保障为基础的对一般人的“普通信任”。在问卷填答过程中,低信任度的人际关系可能导致被调查者不愿意填写问卷;不完全相信调查的匿名性,戒备心较强,未依据自己的真实情况或态度回答问题;对一些通过行政手段收发的问卷,鉴于行政压力与社会称许性的影响,被研究者在填答问卷时倾向于美化组织或自身形象。有研究进一步指出,即使在匿名回答的基础上,采用投射、情境故事等技术性手段,中国被试仍对问卷调查保持较高的防御性。这都导致问卷调查所回收的数据可能并不反映被研究者的真实情况与想法。
除了天然存在的人际信任问题,教育研究对象的特质与调查工具的设计也深刻影响着调研数据的信度。在教育研究中,调研对象经常包含多维度的人的态度、情绪与意见等具有强烈主观特质的概念尺度。人的多变性、不同的问卷填答情境,往往也意味着这些主观概念的测量结果可能并不稳定。例如,同一位被调查者填答两次相同的问卷可能会得到不同的结果;是否有人监督、问卷发放者的身份、以及调查是否关涉自身利益等,这些因素也显著影响着被调查者的问卷填答情况。而我们无法通过观察等客观手段对问卷的信度进行监测,以确保收集到他们真实的想法。此外,问卷设计的合理性也极大影响了可靠数据的回收。一些研究者希望通过一次问卷调查尽可能多地收集信息,在设计问卷时,未考虑问卷篇幅的科学性,也未设身处地地感受被调查者填答问卷时的心理状态,经常出现一份问卷包含上百甚至几百个问题的情况。通过这样的问卷收集而来的数据,其信度是存疑的。
一项量化研究的论证依据与结论建立在调研数据的分析之上,常有学者用“Garbage in, garbage out!”来形容数据品质对量化研究的重要性,即如果你收集回来的数据质量(指数据的信度、效度)很低,则不论你使用何种分析方法,得出的研究结论都将无法令人信服。因此,能否收集到人们的真实信息与想法,并合理地将其转化为可信和有效的数据,是进行规范、科学的量化研究的基础,同时也是得到可靠结论的重要保证。
(四)量化研究者容易陷入数据的泥沼
学术发表在很大程度上象征着一位学者的科研能力与声誉,且与其职称评定、晋升、薪酬待遇等一系列现实问题有着千丝万缕的联系。在教育领域推崇实证研究的当下,逐渐有些研究者,特别是一些研究新手开始注意到基于数据(尤其是大样本数据)撰写的文章在学术发表中的优势:量化文章在部分教育期刊中的比例逐渐增加,有了数据的论证,论文可能更易发表;相比哲学思辨而言,运用基于数据的量化分析方式撰写文章的门槛较低;量化研究更关注教育领域中的现实问题,很多研究成果被采用为政府决策的依据,这为研究成果和研究者带来更高的社会关注度和认可度。这些特点使得部分研究者对数据的收集与运用趋之若鹜,也因此时常容易陷入数据的泥潭:倾向于探究能够用数据分析和回应的教育问题,对于教育领域中不可操作化的理论或伦理问题不感兴趣,也束手无策;将数据作为“原材料”,企图通过“概念-属性-变项-测量-因果关系-统计”这一套特定程序,解释其所研究的所有教育问题;只看到数值及其之间关系的测算与内涵,将教育研究对象抽离出具体的历史-文化情境,使其成为“没有历史”的人与物。
另一方面,量化研究者希望从数据出发,让数据为现实发声,但这需要建立在对数据科学严谨和实事求是的处理、分析与解释之上。然而,在测量、探索变量关系等环节,部分研究者的量化操作却并未严格遵守统计要求或学科研究规范。他们忽视数据特点,简单套用各种统计方法,极度关注统计结果的“价值性”;操纵甚至篡改原始数据,直到获得各项指标良好的模型和符合其预期假设的统计结果。这样“数据至上”,却又随意对待数据的行为,是一种典型的为了发表而研究,缺乏信仰和思想,没有精神、没有灵魂、没有价值追求的“投机行为”。
(五)量化研究者热衷于使用“高级”统计方法
由于数理概率理论提供统计学科学的基础,以致统计学连带地提供了社会学量化研究以科学的基础。依据此认知模式,数理统计得以被“正当化”为科学。在自然科学研究中,越高级的技术越有利于揭示复杂、未知的科学问题,以此类推,数理统计作为量化研究在教育领域中的分析工具,这是否意味着,越繁复和高阶的统计方法就越有利于分析深奥的教育问题,或是将问题分析得愈深刻呢?但事实似乎并不是这样。部分教育研究虽然运用了回归分析、结构方程模型等看似“高级”的统计方法,但其要处理或说明的问题,其实使用较为简单的交叉表分析或差异分析等“普通”方法就能解决,因为基础与高阶的统计方法之间往往存在着部分相似的功能。但当前许多量化研究者却乐于“化简为繁”,倾向于使用复杂而不是简单易懂的统计方法来分析问题,以使研究过程看起来更有深度,结论更具“科学性”。然而,方法的“精进”并无助于厘清事实或揭示更深刻的道理。在教育研究中,同时运用基础或高阶的统计方法,得出的结论别无二致的情况时有发生。“给小孩一根铁锤,他会发现,任何他看到的东西都需要给它一锤。”科塞(Coser L A)用这个有关工具的法则讽刺20世纪70年代那些热衷于使用当时被视为“先进”的结构方程模型等量化社会学家的做法与想法——以为严谨而复杂的方法即是具备了刚性科学的特质,因此可以克服理论上的薄弱。
仔细阅读教育类量化文章会发现,研究者使用“高级”统计方法,通常建立在将量表“数学化”操作的基础上,它意味着数轴上的每个数字都具有内涵,且每位选择同一数值的被研究者的态度都是一样的,但这样精细的“数学化”操作可能并不恰当。这一量化研究的客观性与教育研究的主观性冲突,笔者已在上文进行了详细阐述。在数值意义尚未明晰的前提下,“精深”的统计方法或精巧的计量模型无法增加研究的价值。另一方面,“高级”统计方法是易复制的,片面追求“高级”统计方法的技术主义倾向无助于学科知识的积累,也背离了“研究方法始终应为研究问题服务”的初衷。
三、结论与反思
在教育领域推崇实证研究的当下,定量研究由于其数学化的“科学”特性而备受关注。但教育研究的主观性与量化研究的客观性之间的冲突、量化研究的表层化倾向、调研数据的难以确信、部分研究者对“数据”和“高级”统计方法的偏执,这些都表明:将定量方法运用于教育研究领域应当是谨慎的。所以,我们应该始终明晰对教育研究怀抱着的期待。为了把社会学推进以物理学为典范的“科学”殿堂而一味向自然科学的认知模式倾斜,将只是一种东施效颦的作为,更是一种自我矮化与异化的行止。鉴于教育研究情境和研究对象的复杂性,我们不能迷信问卷调查和统计方法。但不可否认的是,他们的确是教育研究方法体系中非常重要的数据采集与分析工具,服务于教育研究目的,有助于提示教育活动或现象的特点和规律。所以,我们也不能因噎废食,应在深刻意识到量化研究方法局限性的同时,更慎重地使用它。
量化研究中的教育测量需要还原被调查者最真实的想法与状态,这意味着研究者要忠实于被调查者的选择和测量结果的宽松尺度,对数据的解读保持谨慎的态度。如将量表的数值作为有序变量进行操作与分析,而不是一味追求精确的数字化表达,也许这样更有利于探寻教育行为和现象背后的现实意义与内涵。此外,对量化研究浅层化的诟病一定程度上源于部分教育研究者对量化研究方法的不当使用,且量化研究的数据收集、处理与分析过程绝大部分在私下进行,往往不为人所知,这导致人们无法监督和检测其分析过程和研究结论的科学性。因此,我们应掌握扎实的问卷设计、数据处理与统计分析方法,严格遵守量化研究程序,对数据与客观事实始终保持敬畏之心,科学地操作数据,谨慎地解释结论,以此提高教育研究中量化研究方法的价值。同时加大对量化研究中学术不端行为的伦理审查与惩戒力度,遏制“为了发表而发表”的形式主义。
最后,教育研究的成功取决于研究人员在遵守基本研究原则的背景下,对其研究实践的不断反思。所以,最重要的是,在量化操作的过程中,我们不能只关注数据和计算而牺牲了思考,漠视数字背后“人”的内涵。量化研究方法的价值与局限性也提示我们,作为一名教育研究者,我们不仅要具备较完善的量化研究能力,还需重视对哲学思辨能力的培养,对于它的重要性,孔德早就做出了预判:如果缺乏某种既定的思辨观念作一贯的指引,那么人的才智就绝不可能组织、甚至不可能收集必不可缺的材料。
作者
蔡红红,华东师范大学高等教育研究所博士研究生,上海 200062
原文刊载于《中国高教研究》2020年第9期第61-65页
栏目
教育研究方法研究
中国高教研究
微信号:zggjyj1985
投稿平台:
http://editor.cahe.edu.cn/